目的如何充分保留各模态独有特征的细节以及有效整合模态间共有特征是多模态医学图像融合领域所要突破的共性问题。而目前常用的双分支图像编码方法存在对模态间相互依赖、相互关联的共有特征进行信息交互的方式不够完善，过程不够充分的问题，从而影响了多模态成像间特征相关性的建立。针对这些问题，设计了基于渐进特征提取、频域信息补充以及Swin Transformer结合CNN重建的多尺度医学图像融合网络。方法首先设计了基于梯度信息引导的多尺度特征提取模块，其组合的三分支特征提取架构充分考虑了模态间的信息交互，可渐进式地提取图像的共有特征以及不同模态的独有特征。为充分利用频域信息对模态融合位置的引导，使模型更为定向地对医学图像高低频部分进行融合，结合交叉注意力设计了渐进式融合模块，同时实现了不同模态间的空域信息交互增强，以及频域高低频位置信息引导的针对性的多模态信息融合。最后，充分利用Swin Transformer对图像整体结构、形状等全局性信息捕捉能力和CNN对图像局部的纹理细节等区域性特征提取优势，设计Swin-CNN重建模块来建立医学图像全局和局部区域相应特征之间的联系。结果在3个公开融合数据集上进行大量实验表明，在MRI-SPECT和MRI-PET融合任务中，与8种最先进的方法相比，8种视觉融合任务评价指标均取得最优结果。相比于性能第2的模型，互信息（mutual information，MI）和离散余弦特征互信息（discrete cosine transform feature mutual information，FMI_dct）提升显著，MI分别提高4.42%和17.30%，FMI_dct分别提高5.17%和11%。而在GFP-PC融合任务中，取得6项最优和2项次优结果。相比于性能第2的模型，MI和VIF（visual information fidelity）提升显著，分别提高16.43%和16.87%。结论所提出的融合模型通过三分支架构的共同和独有特征提取能力充分挖掘不同模态图像特征并渐进式地整合多尺度信息，利用结合交叉注意力的渐进融合模块引导模型更具针对性的融合高低频特征，并在重建过程中同时关注医学图像全局和局部的属性信息，有效提高了多模态医学图像融合的质量。

目的零样本学习是解决样本数据缺失情况下目标识别的有效方法，传统的零样本识别是通过对带标签的可见类数据训练，实现对无标签的未见类新数据的识别。根据任务设置的不同，可将其分为传统零样本学习（Conventional Zero-Shot Learning，CZSL）和广义零样本学习（Generalized Zero-Shot Learning，GZSL）。生成式零样本识别方法由于可以生成未见类的视觉特征，从而将零样本学习问题转换为常规监督学习问题。但是生成式零样本识别存在特征判别性信息不足、伪视觉特征与语义信息不一致以及域偏移等导致的识别精度低下问题，针对上述问题，提出结合双重对比嵌入学习的生成式零样本图像识别方法。方法首先，针对生成的特征判别性不足问题，基于VAE-GAN（Variational Autoencoder-Generative Adversarial Network， VAE-GAN）生成框架，并集成对比嵌入模块，多个网络协同训练，提高零样本图像识别的精度；其次，以条件VAE-GAN为生成网络，提出双重对比学习策略。一方面，在现有可见类对比学习的基础上，引入未见类伪样本实例-原型域内对比学习，使得生成的伪视觉特征与语义信息保持一致性，缓解可见类和未见类的语义混淆；另一方面，提出跨域中心-原型对比学习，缓解模型过于偏向于可见类，一定程度上减轻域偏移。结果在AWA1、AWA2、CUB、SUN 四个数据集上分别进行了零样本和广义零样本识别实验，并与最新相关方法进行了比较。在零样本识别任务中，提出的方法在AWA1数据集和CUB数据集上取得最优值，相比于性能次优的模型，T1值分别提高了2.2%和2.7%；在AWA2和SUN数据集中均取得次优值。在广义零样本识别中，AWA1、AWA2、CUB三个数据集上H值均取得最优，相比次优值分别提升0.6%、0.8%、2.8%，在SUN数据集中取得次优值。同时也进行了消融实验以验证提出算法的有效性。结论实验结果表明提出的方法可提高零样本和广义零样本图像识别的精度，并具有较好的泛化性能。

目的户型平面图的矢量化是一项关键技术，用于从户型平面点阵图中提取精确的结构信息，广泛应用于建筑装修、家居设计以及场景理解等领域。现有的方法通常采用两阶段流程：第一阶段利用深度神经网络提取户型区域的掩膜，第二阶段通过后处理步骤从掩膜轮廓中提取墙体的矢量信息。然而，这种方法存在误差累积问题，后处理算法难以保证鲁棒性。方法为了解决上述问题，本文提出一种基于引导集扩散模型的户型平面图矢量重建算法，该算法通过将目标检测或实例分割方法中获得的粗糙轮廓输入扩散模型，逐步迭代轮廓点进行重建。此外，本文还引入了一种轮廓倾斜度损失函数，以帮助网络生成更规整的房间布局，从而进一步提升矢量化结果的准确性。结果在公开的Cubicase5K数据集上，本文对提出的算法进行了广泛测试。实验结果表明，在不同的输入条件下，该算法均能有效优化房间轮廓的精度，显著提高了墙线矢量化的提取精度。结论本文提出的基于引导集扩散模型的矢量重建算法，通过解决传统方法中的误差累积问题，实现了室内户型平面图中墙体矢量化的精度提升。这一改进为建筑与家居设计等领域的应用提供了更为可靠的技术支持。

目的Transformer的出现显著提升了目标跟踪模型的精度和鲁棒性，但其二次计算复杂度使得这些模型计算量较大，难以在实际场景中应用。此外，基于Transformer的模型还会导致较高的显存消耗，限制了跟踪模型的序列级训练。为了解决这些问题，本文提出了一种基于视觉状态空间的目标跟踪模型。方法本文基于视觉Mamba框架提出了TMamba算法。与基于Transformer的目标跟踪模型相比，TMamba在实现了优越性能的同时显著降低了计算量和显存占用，为跟踪模型的序列级训练提供了新的思路。TMamba的核心模块是特征融合模块，该模块将深层特征的语义信息与浅层特征的细节信息相结合，为预测头提供更精确的特征，从而提高预测的准确性。此外，本文还提出了双图像扫描策略来弥补视觉状态空间模型与追踪领域之间的差距。双图像扫描策略联合扫描模板和搜索区域图像，使视觉状态空间模型更适配跟踪模型。结果基于所提出的特征融合模块以及双图像扫描策略本文开发了一系列基于状态空间模型的目标跟踪模型。而且在7个数据集上对所提出的模型进行了全面评测，结果显示，TMamba在降低计算量和参数量的同时，在各数据集上取得了显著的性能。例如，TMamba-B在LaSOT数据集上取得了66%的成功率，超越了大多数基于Transformer的模型，同时仅有50.7M的参数量和14.2G的计算量。结论本文提出的TMamba算法探索了使用状态空间模型进行目标跟踪的可能性。TMamba在多个数据集上以更少的参数量和计算量实现了与基于Transformer的目标跟踪模型相当的性能。TMamba的低参数量、低计算量以及低显存占用的特点，有望进一步促进目标跟踪模型的实际应用，并推动跟踪模型序列级训练的发展。

目的三维场景本征分解尝试将场景分解为反射率与照明的乘积，其分解结果可以用于虚拟物体插入、图像材质编辑、重光照等任务，因此受到了广泛的关注与研究。但是，分解规模较大且布局复杂的室内场景是一个高度病态的问题，获得正确的分解结果具有较高的挑战性。方法本文基于当前最先进的辐射场表示技术——三维高斯泼溅，提出了一种针对室内场景的本征分解算法，大大提高了室内场景本征分解的精度和效率。为了更好地解耦本征属性，本文基于三维高斯泼溅技术设计了一种针对室内场景的本征分解模型，将场景分解为反射率及偏移、照明和残差项，并引入了新的反射率分段稀疏、照明平滑与色度先验约束，以减少分解过程中的歧义，保证分解结果的合理性。同时本文还利用捕获的深度数据增强场景的几何信息，有利于反射率和照明能够更好地解耦，提高合成图像的质量。结果本文对来自合成数据集Replica的8个场景和真实数据集ScanNet++的5个场景进行了实验，并对分解结果进行可视化；同时本文还测试了新视角下合成图像的PSNR、SSIM、LPIPS指标。结果显示，本文方法不仅可以得到在视觉上更加合理的分解结果，并且合成图像的上述指标在Replica数据集上平均达到了34.6955、0.9654和0.0861，在ScanNet++数据集上平均达到了27.9496、0.8950和0.1444，优于以往的三维场景本征分解算法。结论与以往的工作相比，本文提出的方法能够快速分解室内场景，并支持在新视角下推理场景属性和合成高保真的图像，具有较高的应用价值。<p>目的三维场景本征分解尝试将场景分解为反射率与照明的乘积，其分解结果可以用于虚拟物体插入、图像材质编辑、重光照等任务，因此受到了广泛的关注与研究。但是，分解规模较大且布局复杂的室内场景是一个高度病态的问题，获得正确的分解结果具有较高的挑战性。</p><p>方法本文基于当前最先进的辐射场表示技术——三维高斯泼溅，提出了一种针对室内场景的本征分解算法，大大提高了室内场景本征分解的精度和效率。为了更好地解耦本征属性，本文基于三维高斯泼溅技术设计了一种针对室内场景的本征分解模型，将场景分解为反射率及偏移、照明和残差项，并引入了新的反射率分段稀疏、照明平滑与色度先验约束，以减少分解过程中的歧义，保证分解结果的合理性。同时本文还利用捕获的深度数据增强场景的几何信息，有利于反射率和照明能够更好地解耦，提高合成图像的质量。</p><p>结果本文对来自合成数据集Replica的8个场景和真实数据集NYU的3个场景进行了实验，并对分解结果进行可视化；同时本文还测试了新视角下合成图像的PSNR、SSIM、LPIPS指标。结果显示，本文方法不仅可以得到在视觉上更加合理的分解结果，并且合成图像的上述指标在Replica数据集上平均达到了34.6955、0.9654和0.0861，在NYU数据集上平均达到了28.0148、0.8651和0.1849，优于以往的三维场景本征分解算法。</p><p>结论与以往的工作相比，本文提出的方法能够快速分解室内场景，并支持在新视角下推理场景属性和合成高保真的图像，具有较高的应用价值。</p>

本综述探讨了基于人脸视频的心率变异性（heart rate variability，HRV）估计技术，突出了其在健康监测和疾病诊断中的无创性和实时监控的优势。首先，解析了HRV的生理学基础和核心参数的定义，阐明了其在医疗保健领域的应用潜力。接着，详细介绍了人脸视频采集的技术细节、数据预处理流程，重点讨论了HRV参数估计的多种方法，包括传统信号处理技术和深度学习算法。分析表明，深度学习技术在HRV估计方面因其强大的模式识别能力，能够有效提取复杂视觉特征和处理非线性生理信号，在提高估计精度方面展现出显著优势。本综述还对比了传统方法和深度学习方法在不同应用场景中的表现，指出了各自的优势与局限性，并总结了基于人脸视频HRV估计技术的实际应用案例，如健康评估、情绪识别、精神压力评估、疲劳检测和心血管疾病早期预警等。因此，本综述提出了未来研究的方向，包括降低头部运动和环境光变化的干扰、优化模型选择及减少对训练数据的依赖等，以促进HRV估计技术的发展。本综述旨在提供基于人脸视频的HRV估计技术的全面视角，为学术界和工业界的技术创新和应用拓展提供重要参考。